Modelscope模型部署

启动WebUI调用模型服务

1. 服务部署成功后，单击服务方式列下的查看Web应用。

2. 在WebUI页面左侧测试内容文本框中输入请求数据，单击执行测试，在测试结果文本框中返回结果。

   WebUI页面右侧为输入数据的Schema，如果发送了请求之后，会显示输入输出的真实数据内容。您可以根据Schema和JSON内容，构造请求数据，来调用模型服务。

通过API接口调用模型服务

为了方便演示，以在线调试为例为您说明调用方式和返回结果：

1. 在模型在线服务（EAS）页面，单击目标服务操作列下的在线调试。如果您不清楚该模型对应的数据格式，可以直接在在线调试页面单击发送请求，获得如下图所示的请求数据格式。

2. 您可以参考实际返回结果中Body后的请求数据格式自行构造请求数据。以上图为例，您可以在左侧Body下的文本框中输入{"input": {"text": "Deploying ModelScope models on PAI-EAS is simple and easy to use"}}，单击发送请求，获得如下预测结果。

您可以使用PAI提供的SDK或curl命令发送POST请求，详情请参见服务调用SDK。您也可以自行编写代码调用模型服务，具体操作步骤如下：

1. 获取服务的访问地址和Token。

   1. 在模型在线服务（EAS）页面，单击服务名称，进入服务详情页面。

   2. 在服务详情页面，单击基本信息区域的查看调用信息。

      在公网地址调用页签，获取服务的访问地址和Token。

2. 调用模型服务。

   您可以使用PAI提供的SDK或curl命令发送POST请求，详情请参见服务调用SDK。您也可以自行编写代码调用模型服务，示例代码如下：

   import requests
   import json
   
   service_url = 'YOUR_SERVICE_URL'
   token = 'YOUR_SERVICE_TOKEN'
   
   resp = requests.post(service_url,
                        headers={"Authorization": token},
                       data=json.dumps({"input": {"text": "Deploying ModelScope models on PAI-EAS is simple and easy to use"}}))
   
   print(resp.text) # 输出为模型的输出结果。
   
   

   其中：

   • service_url：配置为已获取的服务访问地址。

   • token：配置为已获取的服务Token。

启动WebUI调用模型服务

服务部署成功后，单击服务方式列下的查看Web应用，即可打开一个类似下图页面的对话窗口，在该页面可以直接开始对话。

通过API接口调用模型服务

1. 获取服务的访问地址和Token。

   1. 在模型在线服务（EAS）页面，单击服务名称，进入服务详情页面。

   2. 在服务详情页面，单击基本信息区域的查看调用信息。

      在公网地址调用页签，获取服务的访问地址和Token。

2. 调用模型服务。

   您可以使用PAI提供的SDK或curl命令发送POST请求，详情请参见服务调用SDK。您也可以自行编写代码调用模型服务，示例代码如下：

   import requests
   import json
   
   service_url = 'YOUR_SERVICE_URL'
   token = 'YOUR_SERVICE_TOKEN'
   
   request = {"prompt": "浙江的省会是哪里？", "history": []}
   
   resp = requests.post(service_url,
                        headers={"Authorization": token},
                       data=json.dumps(request))
   
   result = json.loads(resp.text)
   response = result['response']
   print(json.loads(resp.text)['response']) # 浙江的省会是杭州。
   
   request = {"prompt": "江苏呢？", "history": result['history']}
   
   
   resp = requests.post(service_url,
                        headers={"Authorization": token},
                       data=json.dumps(request))
   
   
   result = json.loads(resp.text)
   response = result['response']
   print(response) # 江苏的省会是南京。

   其中：

   • service_url：配置为已获取的服务访问地址。

   • token：配置为已获取的服务Token。

   • request：对话模型的输入，格式为JSON。

     {"prompt":"福建呢？","history":[["浙江的省会是哪里？","杭州"],["江苏呢？","南京"]]}

     • prompt：对话模型的输入语句。

     • history：对话历史，格式为一个二维列表。第一维列表中每个元素为一个长度为2的列表，表示每一轮对话的问题和回答，可以直接从上次对话中获取，以实现连续对话。您也可以截取该列表的长度以限制上下文对话轮数。

   输出结果为JSON格式，示例如下：

   {"response":"福州","history":[["浙江的省会是哪里？","杭州"],["江苏呢？","南京"],["福建呢？","福州"]]}

   其中：

   • response：为对话模式的回答。

   • history：含义与request请求字段中的history描述相同，可以直接带入下一轮对话。

为了方便演示，以在线调式为例为您说明调用方式和返回结果：

1. 在模型在线服务（EAS）页面，单击目标服务操作列下的在线调试。

2. 在调试页面的在线调试请求参数区域的Body处填写{"prompt":"福建呢？","history":[["浙江的省会是哪里？","杭州"],["江苏呢？","南京"]]}，然后单击发送请求，即可在调式信息区域查看预测结果。